Ban đầu, M4 được lắp ráp pháo chính loại M3 cỡ 75 mm L/40. Khi tham chiến lần đầu tại mặt trận Bắc Phi, Sherman có thể hạ gục được cả hai đối thủ thiết giáp từ Đức là Panzer III và Panzer IV. Bộ quốc phòng Mỹ đã phán đoán được là quân đội Đức Quốc xã sẽ tung ra hai loại tăng mới là Tiger I và Panther, nhưng chỉ với một số lượng nhỏ. Trái lại, quân Đức đã sản xuất được hơn 6.000 chiếc Panther từ năm 1943 đến cuối cuộc chiến, chiếm phần lớn trong các sư đoàn thiết giáp, khiến cho quân Mỹ thực sự bất ngờ. Đến năm 1944, các sư đoàn tăng của Đức Quốc xã đều có số lượng đáng kể xe tăng Panther làm chủ lực, Tiger và Panzer-IV hoạt động nhằm bổ trợ cho Panther và yểm trợ bộ binh.

Như đã nói, pháo chính 75 mm của Sherman không thể nào xuyên được giáp trước của Tiger và Panther. Vào năm 1943, bộ quốc phòng Mỹ đã đưa ra hai mẫu pháo cải tiến gồm một mẫu có cỡ nòng 90 mm và một mẫu có tác dụng chống tăng có cỡ nòng 76 mm.Từ sau năm 1943, các loại pháo tự hành chống tăng và tăng của Đức Quốc xã như Panzer IV; StuG III; Marder III đều được trang bị pháo chính KwK-40 7.5 cm L/48. Tất cả các loại này đều không thể địch lại các loại tăng mới của Liên Xô như T-34/85; IS-2... nhưng vẫn có thể hạ gục được Sherman từ một khoảng cách nhất định. Việc pháo chính của Sherman thua kém pháo chính của lực lượng thiết giáp Đức đã dẫn đến việc sản xuất mẫu tăng Sherman mới có pháo chính M4 76 mm L/55 vào tháng 4/1944. Sau khi cải chế xong, pháo 76 mm M4 có thể được xem là nhỉnh hơn so với pháo 7.5 cm KwK 40, lực lượng pháo tự hành chống tăng Đức chỉ toàn sử dụng loại này khi phòng thủ tại Pháp.